• Józef Elsner sinh ngày 1 tháng 6 năm 1769, tại thị trấn Grottkau thuộc Công quốc Neisse (Herzogtum Neiße) của Vương quốc Phổ. Ban đầu, Elsner thậm chí không biết tiếng Ba Lan, mãi đến năm hai mươi tuổi mới học ở trường.[5] Cha là Franz Xaver Elsner, người Đức Silesian, theo Công giáo, điều hành một xưởng mộc và sửa chữa nhạc cụ. Mẹ là con của một nghệ nhân làm đàn vĩ cầm xuất thân từ Matzke nổi tiếng ở Glatz, có mối liên hệ sâu sắc với văn hóa Séc ở Bohemia. Từ nhỏ, Elsner đã thích chơi vĩ cầm và là một nhạc công nghiệp dư, giống như mẹ. Ngoài ra, Elsner còn hát trong dàn hợp xướng của nhà thờ và thậm chí có sáng tác đầu tiên.

• Năm 12 tuổi, cha mẹ gửi Elsner đến Wrocław để học tại tu viện dòng Đa Minh (Dominico) và sau đó đến trường học tu viện Dòng Tên. Tại đây, Elsner đã học và biểu diễn vĩ cầm, thanh nhạc, sáng tác nhạc. Năm 1782, cậu bé 13 tuổi đã sáng tác bản motet có tên "Ave Maria", được biểu diễn thành công trước công chúng.[6] Tác phẩm này đã thất lạc.[7]
• Sau khi hoàn thành chương trình học tại Breslau (Wrocław) ông trở thành nghệ sĩ vĩ cầm tại Brô-nô (Brünn). Đến năm 1792, ông trở thành Giám đốc âm nhạc (tiếng Đức gọi là "Kapellmeister") thứ 2 tại Nhà hát Opera Đức ở Lemberg thời đó thuộc Áo cai trị. Năm 1796, ông kết hôn với Klara Abt, nhưng chỉ một năm sau bà qua đời.

• Năm 1799, ông đến Tân Đông Phổ (Ba Lan do Phổ cai trị) và trở thành nhạc trưởng chính của Nhà hát Quốc gia Ba Lan Vacxava, suốt đến năm 1824.[8] Năm 1802, ông kết hôn với người vợ thứ hai là Karolina Drozdowska.
• Trong quá trình công tác, Elsner đã qua Paris, Dresden và Poznań, ở đây ông gặp và làm quen với E.T.A. Hoffmann, rồi hai người cùng nhau thành lập một bộ sưu tập nhạc (tiếng Đức là "Musikressource") vào năm 1805. Thời gian làm việc tại Nhà hát, ông đã sáng tác nhiều nhạc phẩm gồm nhiều thể loại: giao hưởng, balê, ôpêra, độc tấu và hòa tấu nhạc cụ.
• Trong khoảng những năm 1821 - 1831, Elsner đã mở ba trường dạy nhạc với các cấp học khác nhau, trong đó có Szkołę Główną Muzyki là trường Âm nhạc chính, liên kết với Đại học âm nhạc Warsaw. Chính tại đây, Frédéric Chopin đã theo học ông, cùng với các nhạc sĩ nổi tiếng sau này là Ignacy Feliks Dobrzyński, Maria Szymanowska. Elsner đã nói về Chopin: "... anh ấy là sinh viên năm thứ ba, khả năng tuyệt vời, một thiên tài âm nhạc".[5] Còn Chopin đã viết tặng riêng cho Elsner bản Sonata Piano số 1 cung C thứ, Op. 4 (1828) khi ông đang học.
• Elsner còn là một nhà lý thuyết âm nhạc, mặc dù là người gốc Đức, nhưng đã nghiên cứu các tính chất của âm nhạc dân gian Ba ​​Lan và ngôn ngữ Ba Lan rồi phổ biến và phát triển. Ông là thành viên của nhiều hiệp hội âm nhạc Ba Lan và châu Âu.

Elsner qua đời ngày 18 tháng 4 năm 1854, thọ 84 tuổi, tại nhà riêng gọi là Kolonia Elsnerów (thuộc quận Targówek ngày nay) ở Elsnerów thuộc thành phố Vacxava và sau đó được chôn cất tại Nghĩa trang Powązki.[5]